As an important variant of entity alignment (EA), multi-modal entity alignment (MMEA) aims to discover identical entities across different knowledge graphs (KGs) with multiple modalities like images. However, current MMEA algorithms all adopt KG-level modality fusion strategies but ignore modality differences among individual entities, hurting the robustness to potential noise involved in modalities (e.g., unidentifiable images and relations). In this paper we present MEAformer, a multi-modal entity alignment transformer approach for meta modality hybrid, to dynamically predict the mutual correlation coefficients among modalities for instance-level feature fusion. A modal-aware hard entity replay strategy is also proposed for addressing vague entity details. Extensive experimental results show that our model not only achieves SOTA performance on multiple training scenarios including supervised, unsupervised, iterative, and low resource, but also has limited parameters, optimistic speed, and good interpretability. Our code will be available soon.

Personal knowledge bases (PKBs) are crucial for a broad range of applications such as personalized recommendation and Web-based chatbots. A critical challenge to build PKBs is extracting personal attribute knowledge from users' conversation data. Given some users of a conversational system, a personal attribute and these users' utterances, our goal is to predict the ranking of the given personal attribute values for each user. Previous studies often rely on a relative number of resources such as labeled utterances and external data, yet the attribute knowledge embedded in unlabeled utterances is underutilized and their performance of predicting some difficult personal attributes is still unsatisfactory. In addition, it is found that some text classification methods could be employed to resolve this task directly. However, they also perform not well over those difficult personal attributes. In this paper, we propose a novel framework PEARL to predict personal attributes from conversations by leveraging the abundant personal attribute knowledge from utterances under a low-resource setting in which no labeled utterances or external data are utilized. PEARL combines the biterm semantic information with the word co-occurrence information seamlessly via employing the updated prior attribute knowledge to refine the biterm topic model's Gibbs sampling process in an iterative manner. The extensive experimental results show that PEARL outperforms all the baseline methods not only on the task of personal attribute prediction from conversations over two data sets, but also on the more general weakly supervised text classification task over one data set.

In knowledge graph completion (KGC), predicting triples involving emerging entities and/or relations, which are unseen when the KG embeddings are learned, has become a critical challenge. Subgraph reasoning with message passing is a promising and popular solution. Some recent methods have achieved good performance, but they (i) usually can only predict triples involving unseen entities alone, failing to address more realistic fully inductive situations with both unseen entities and unseen relations, and (ii) often conduct message passing over the entities with the relation patterns not fully utilized. In this study, we propose a new method named RMPI which uses a novel Relational Message Passing network for fully Inductive KGC. It passes messages directly between relations to make full use of the relation patterns for subgraph reasoning with new techniques on graph transformation, graph pruning, relation-aware neighborhood attention, addressing empty subgraphs, etc., and can utilize the relation semantics defined in the ontological schema of KG. Extensive evaluation on multiple benchmarks has shown the effectiveness of techniques involved in RMPI and its better performance compared with the existing methods that support fully inductive KGC. RMPI is also comparable to the state-of-the-art partially inductive KGC methods with very promising results achieved. Our codes and data are available at https://github.com/zjukg/RMPI.

基于多模式方面的情感分类（MABSC）是一项新兴的分类任务，旨在将给定目标的情感分类，例如具有不同模式的数据中提到的实体。在带有文本和图像的典型多模式数据中，以前的方法不能充分利用图像的细颗粒语义，尤其是与文本的语义结合在一起，并且不完全考虑对细粒图像之间的关系进行建模信息和目标，这导致图像的使用不足和不足以识别细粒度的方面和意见。为了应对这些局限性，我们提出了一个新的框架SEQCSG，包括一种构建顺序跨模式语义图和编码器模型的方法。具体而言，我们从原始图像，图像标题和场景图中提取细粒度的信息，并将它们视为跨模式语义图的元素以及文本的令牌。跨模式语义图表示为具有多模式可见矩阵的序列，指示元素之间的关系。为了有效地利用跨模式语义图，我们建议使用目标提示模板的编码器解码器方法。实验结果表明，我们的方法优于现有方法，并在两个标准数据集MABSC上实现了最新方法。进一步的分析证明了每个组件的有效性，我们的模型可以隐含地学习图像的目标和细粒度信息之间的相关性。

视觉问题回答（VQA）通常需要对视觉概念和语言语义的理解，这取决于外部知识。大多数现有方法利用了预训练的语言模型或/和非结构化文本，但是这些资源中的知识通常不完整且嘈杂。有些方法更喜欢使用经常具有强化结构知识的知识图（kgs），但是研究仍然相当初步。在本文中，我们提出了Lako，这是一种知识驱动的VQA方法，通过后期的文本注射。为了有效地纳入外部kg，我们将三元三元转移到文本中，并提出一种晚期注射机制。最后，我们将VQA作为文本生成任务，并具有有效的编码器范式。在使用OKVQA数据集的评估中，我们的方法可实现最新的结果。

零击学习（ZSL）旨在预测看不见的课程，其样本在培训期间从未出现过，经常利用其他语义信息（又称侧信息）来桥接培训（见过）课程和看不见的课程。用于零拍图像分类的最有效且最广泛使用的语义信息之一是属性，是类级视觉特征的注释。但是，由于细粒度的注释短缺，属性不平衡和同时出现，当前方法通常无法区分图像之间的那些微妙的视觉区别，从而限制了它们的性能。在本文中，我们提出了一种名为Duet的基于变压器的端到端ZSL方法，该方法通过自我监督的多模式学习范式从审前的语言模型（PLM）中整合了潜在的语义知识。具体而言，我们（1）开发了一个跨模式的语义接地网络，以研究模型从图像中解开语义属性的能力，（2）应用了属性级的对比度学习策略，以进一步增强模型对细粒视觉特征的歧视反对属性的共同出现和不平衡，（3）提出了一个多任务学习策略，用于考虑多模型目标。通过对三个标准ZSL基准测试和配备ZSL基准的知识图进行广泛的实验，我们发现二重奏通常可以实现最新的性能，其组件是有效的，并且其预测是可以解释的。

知识图（kg）及其本体论的变体已被广泛用于知识表示，并且已证明在增强零拍学习（ZSL）方面非常有效。但是，利用KGS的现有ZSL方法都忽略了KGS中代表的类间关系的内在复杂性。一个典型的功能是，一类通常与不同语义方面的其他类别有关。在本文中，我们专注于增强ZSL的本体，并建议学习以本体论属性为指导的解剖本体嵌入，以捕获和利用不同方面的更细粒度的类关系。我们还贡献了一个名为dozsl的新ZSL框架，该框架包含两个新的ZSL解决方案，分别基于生成模型和图形传播模型有效地利用了分解的本体学嵌入。已经对零摄像图分类（ZS-IMGC）和零射Hot KG完成（ZS-KGC）进行了五个基准测试进行了广泛的评估。 Dozsl通常比最先进的表现更好，并且通过消融研究和案例研究证实了其组成部分。我们的代码和数据集可在https://github.com/zjukg/dozsl上找到。

计算文本表型是从临床注释中鉴定出患有某些疾病和特征的患者的实践。由于很少有用于机器学习的案例和域专家的数据注释需求，因此难以识别的罕见疾病要确定。我们提出了一种使用本体论和弱监督的方法，并具有来自双向变压器（例如BERT）的最新预训练的上下文表示。基于本体的框架包括两个步骤：（i）文本到umls，通过上下文将提及与统一医学语言系统（UMLS）中的概念链接到命名的实体识别和链接（NER+L）工具，SemeHR中提取表型。 ，以及具有自定义规则和上下文提及表示的弱监督； （ii）UMLS-to-to-ordo，将UMLS概念与孤子罕见疾病本体论（ORDO）中的罕见疾病相匹配。提出了弱监督的方法来学习一个表型确认模型，以改善链接的文本对umls，而没有域专家的注释数据。我们评估了来自美国和英国两个机构的三个出院摘要和放射学报告的临床数据集的方法。我们最好的弱监督方法获得了81.4％的精度和91.4％的召回，从模仿III出院摘要中提取罕见疾病UMLS表型。总体管道处理临床笔记可以表面罕见疾病病例，其中大部分在结构化数据（手动分配的ICD代码）中没有受到平衡。关于模仿III和NHS Tayside的放射学报告的结果与放电摘要一致。我们讨论了弱监督方法的有用性，并提出了未来研究的方向。

本体匹配（OM）在许多领域（例如生物信息学和语义网络）中起着重要作用，其研究变得越来越流行，尤其是在机器学习（ML）技术的应用中。尽管本体论对准评估计划（OAEI）代表了对OM系统进行系统评估的令人印象深刻的努力，但它仍然受到了几个限制，包括对集合映射的评估，次优参考映射以及对基于ML的系统评估的支持有限。为了应对这些限制，我们介绍了五项新的生物医学OM任务，这些任务涉及从Mondo和UMLS提取的本体。每个任务既包括等价和归因匹配；通过人类的策展，本体论修剪等确保参考映射的质量。并提出了一个全面的评估框架，以从基于ML的基于ML和非ML的OM系统从各个角度衡量OM性能。我们报告了不同类型的OM系统的评估结果，以证明这些资源的使用情况，所有这些资源都是在OAEI 2022年新的BioML轨道的一部分中公开使用的。

临床编码是将患者健康记录中的医疗信息转换为结构化代码的任务，以便它们可用于统计分析。这是一项认知且耗时的任务，遵循标准过程，以达到高水平的一致性。自动化系统可以支持临床编码，以提高该过程的效率和准确性。我们介绍了自动临床编码的想法，并从人工智能（AI）和自然语言处理（NLP）（NLP）的角度总结了挑战，该文献是根据文献，我们在过去两年半（2019年末 - 2022年初）的项目经验），以及与苏格兰和英国的临床编码专家的讨论。我们的研究揭示了应用于临床编码的当前基于深度学习的方法与现实世界实践中的解释性和一致性之间的差距。基于知识的方法代表和推理了标准，可以解释的任务过程，可能需要将其纳入基于深度学习的临床编码方法中。尽管面临技术和组织的挑战，但自动化的临床编码是AI的一项有前途的任务。编码人员需要参与开发过程。在未来五年及以后，开发和部署基于AI的自动化系统需要实现很多目标。